数据中台已成下一风口，它会颠覆数据工程师的工作吗？
Editor's Note
The following article is from AI前线 Author 史凯
首先它不是一个平台，也不是一个系统，如果有厂商说他们有个数据中台卖给你，对不起，它是个骗子。
要回答数据中台是什么，首先要探讨一下中台到底是什么。虽然没有明确的定义，但是作为理工直男，我们可以先把中台看作是一种中间层。既然是一种中间层，那么中台确实是一种十足技术用语，我们可以完全从技术角度来探讨了。
我们可以应用 Gartner 的 Pace Layer 来理解为什么要有中间层，这样可以更好地理解中台的定位和价值。Pace Layer 里提到，可以按照事物变化的速度来分层，这样可以逐层分析并设计合理的边界与服务。
在数据开发中，核心数据模型的变化是相对缓慢的，同时，对数据进行维护的工作量也非常大；但业务创新的速度、对数据提出的需求的变化，是非常快速的。
数据中台的出现，就是为了弥补数据开发和应用开发之间，由于开发速度不匹配，出现的响应力跟不上的问题。
数据中台解决的问题可以总结为如下三点：
效率问题：为什么应用开发增加一个报表，就要十几天时间？为什么不能实时获得用户推荐清单？当业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响上线时间。
协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍。
能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人来完成，但是很多时候，我们有一大把的应用开发人员，而数据开发人员很少。
这三类问题都会导致应用开发团队变慢。这就是中台的关键——让前台开发团队的开发速度不受后台数据开发的影响。
史凯总结说，“数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念”。
如下图所示：
DData API 是数据中台的核心，它是连接前台和后台的桥梁，通过 API 的方式提供数据服务，而不是直接把数据库给前台、让前台开发自行使用数据。至于产生 DataAPI 的过程，怎么样让 DataAPI 产生得更快，怎么样让 DATA API 更加清晰，怎么样让 DATA API 的数据质量更好，这些是要围绕数据中台去构建的能力。
这是现在数据行业大家经常讨论的问题，到底数据仓库、数据平台和数据中台的区别是什么。
概括地说，三者的关键区别有以下几方面：
数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）的能力，为业务提供服务的主要方式是数据 API；
数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表；
数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的方式主要是直接提供数据集；
数据中台距离业务更近，为业务提供速度更快的服务；
数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；
数据中台可以建立在数据仓库和数据平台之上，是加速企业从数据到业务价值的过程的中间层。
数据仓库具有历史性，其中存储的数据大多是结构化数据，这些数据并非企业全量数据，而是根据需求针对性抽取的，因此数据仓库对于业务的价值是各种各样的报表，但这些报表又无法实时产生。数据仓库报表虽然能够提供部分业务价值，但不能直接影响业务。
数据平台的出现是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题，所以先撇开业务需求、把企业所有的数据都抽取出来放到一起，成为一个大的数据集，其中有结构化数据、非结构化数据等。当业务方有需求的时候，再把他们需要的若干个小数据集单独提取出来，以数据集的形式提供给数据应用。
而数据中台是在数据仓库和数据平台的基础上，将数据生产为为一个个数据 API 服务，以更高效的方式提供给业务。
大数据和人工智能大火之后这几年，很多人一直在提一个说法，那就是“数据是新的石油”。但史凯的观点却有些不同，在他看来，数据不等于数据资产，如果没有从业务的角度对数据进行规划，再多的数据也无法产生价值。
史凯认为数据中台最核心的一个关键组件是数据资产目录。“我们认为，一个企业的数据要能够充分发挥价值，很重要的一个前提条件就是这个企业的数据结构和数据资产目录是对整个企业开放的。所有人都能够通过这个资产目录了解公司有哪些类别的数据、包含什么属性、源数据由谁管理，这样就可以快速搞清楚这些数据是不是自己需要的。但数据本身可以不开放，因为数据是有隐私信息和安全级别的。”
大企业内部业务众多，不同业务可能存在很多重复数据。所谓的数据资产目录就是把数据的模型去重、归一、梳理，变成一个树状结构，这个树状结构不直接对应数据库中的字段。以航空货运为例，其数据资产可能包括货机、客运机的辅舱，一架货机就是一个数据资产目录的节点，而货机的各种属性（如货机型号、空间大小、年份等）就是这个节点下面的数据模型。数据资产目录做的事情就是从业务层面出发制定数据标准，将企业业务相关的数据资产模型抽取出来，这跟后面用什么数据库去存储、用什么结构去存储、存成结构化还是非结构化都没有关系。它相当于把企业的业务从数据层面做了一个梳理，用数据的语言把企业的业务模型还原出来。数据资产目录做好之后，后面才是用什么技术手段、从哪里提取数据来映射到这个数据资产目录。
除了开放，数据资产目录还应该具有标签描述、可检索，这样才能最大程度地方便真正使用数据的人，以最快的速度找到他们需要的东西。
在 ThoughtWorks 提出的精益数据创新体系中将企业所需要具备的数据能力概括为以下六种，具备了这六种能力，企业才具备成为数据驱动的智能企业的基础，而这些能力的承载平台，就是数据中台：
数据资产的规划和治理
做中台之前，首先需要知道业务价值是什么，从业务角度去思考企业的数据资产是什么。数据资产不等同于数据，数据资产是唯一的，能为业务产生价值的数据。 对于同一堆数据，不同业务部门所关注的数据指标可能完全不同，怎么让各个跨域的业务变成统一的标准，就需要规划企业的数据全景图，将所有有可能用上的、所有对企业有可能有价值的数据都规划出来，最终梳理出企业的数据资产目录。在这个时候不需要考虑有没有系统、有没有数据，只需要关注哪些数据是对企业业务有价值的。这一层不建议做得太细，太细就难以形成标准，不能适用于多个场景了。数据治理是数据中台很重要的一个领域，ThoughtWorks 认为在现在业务边界消失、需求快速变化的情况下，企业需要具备精益数据治理的能力——Lean Data Governance。传统的中心化、事前控制式的数据治理方式，要改变为去中心化、事后服务式的治理方式。
数据资产的获取和存储
数据中台要为企业提供强大的数据资产的获取和存储的能力。
3. 数据的共享和协作
企业的数据中台一定是跨域的，需要让所有的人都知道数据资产目录在哪里。不能因为数据安全，就不让大家知道企业有什么数据。没有共享和开放，数据没有办法流动起来，没有流动的话数据的价值产生的速度就会非常慢。所以在数据安全的基础上，企业的数据资产目录要对利益相关者、价值创造者开放，要让业务人员能够做到“Self-Service”。
4. 业务价值的探索和分析
数据中台不仅要建立到源数据的通路，还需要提供分析数据的工具和能力，帮助业务人员去探索和发现数据的业务价值。一个好的数据中台解决方案中需要针对不同业务岗位的用户提供个性化的数据探索和分析的工具，并且在此基础上一键生成数据 API，以多样化的方式提供给前台系统。
数据服务的构建和治理
数据中台需要保证数据服务的性能和稳定性，以及数据质量和准确性，还需要具备强大的服务治理能力。数据中台是一个生态平台，在数据中台上面会不断生长各种数据服务，所以从一开始就构建好数据服务的治理结构是非常重要的，数据服务需要可以被记录、可被跟踪、可被审计、可被监控。
6. 数据服务的度量和运营
如果数据中台最终只是做到把数据给到业务人员，那它就只是一个搬运工的角色。数据中台还需要具备度量和运营数据服务的能力，能够对中台上提供的数据服务及相关行为持续跟踪和记录，包括哪些数据服务被哪个部门用了多少次等，通过这些去度量每一个数据服务的业务价值。
史凯认为，数据中台是一个需要用互联网思维去经营的利润中心平台，数据中台的经营分析人员需要分析业务，了解为什么今天上午这个财务部门的人用了数据中台、调用了十次，下午他不用了，原因是什么，调用了这些数据服务的人通常还会调用哪些其他的数据服务。这些都需要相应地做记录、做日志、做分析，要把数据当做像电商平台一样去经营，然后实时地根据这些业务行为数据去提醒数据服务提供方，调整、改变、优化数据服务，这才是可经营的数据中台，也只有这样业务部门才能得到最快的支持和响应。
数据中台并非只有大公司才需要的高大上的玩意。
ThoughtWorks 从 2017 年到现在，已经帮助多家大型国内外企业建设数据中台，其中有体量巨大的企业级数据中台，也有部门级的小数据中台。
“未来所有的企业核心都会变成加工数据的企业，而数据中台是数据价值化的加工厂，所以所有的企业都需要数据中台的能力，数据中台一定是未来每个企业的标准配置。”
在史凯看来，数据中台并不意味着“大而全”的数据平台。根据企业的规模和业务的不同，数据中台可大可小，规模、复杂度可能都不相同，但它对业务产生的价值是一样的。
当企业评估自己是否应该建设数据中台时，应该从哪些方面来考虑？史凯认为，从战略角度来说，每个企业都需要建立自己的数据中台；从战术角度来说，当企业发现自己的数据开发利用的速度和应用开发的速度不匹配的时候，就需要考虑构建数据中台。
原来很多企业在做应用系统的时候，什么都不考虑直接上单体架构，一上来就先做数据库，然后在上面建应用。ThoughtWorks 建议现在的企业，即使不做数据中台、不去立一个叫做“数据中台”的项目，但是在做应用的时候，最好把这个应用分成三层，业务层、数据中台层、源数据层，在一开始做应用的时候就把三个层次抽象出来。
历史遗留的数据质量问题经常让大家对数据的利用和价值产生质疑。2018 年，史凯在与不同企业沟通过程中经常听到的一句话就是，“我们现在还没有到利用数据这一步，因为（应用系统中的）数据质量太差”。
每次听到这句话，史凯脑子里就好像听到了另外一句话，“还没到培养孩子的时候啊，孩子太小了”。
不能因为数据质量差，就不去利用数据。恰恰是因为没有去做后面的事情，所以数据质量才差。而且也不能因为数据质量差就抛开业务场景、试图全面解决数据质量的问题，这样得不到业务部门的支持，也无法从数据工作中产生业务价值。所以 ThoughtWorks 建议的恰恰是利用做应用、做业务的需求，同步解决数据质量问题。
史凯认为，数据质量问题，根本上是在构建应用之初缺乏整体数据规划和数据思维导致的问题。原来的流程类应用构建之初，只考虑了如何让流程跑起来，缺乏对这个应用在整个企业的数据全景图（Data Landscape）中的定位的分析，没有从源头上优化数据的存储、流转，从而更好地与其他的系统中的数据去对齐口径、统一语言，将流程问题抽象成领域模型问题，再将领域模型抽象成数据模型。
建设数据中台最大的挑战在于前期能否从业务层面梳理清楚有业务价值的场景，以及数据全景图，而不仅在于后期的技术建设。
数据中台建设面临的挑战包括：
梳理业务场景：搞清楚数据中台如何对业务产生价值。
建设数据中台的优先级策略：需求可能大而全，但我们不能直接建大而全的数据中台，应该根据业务重要性来排需求的优先级。
数据治理问题：和业务独立开的数据治理少有成功的，大的数据标准要有（数据资产目录），通过数据资产目录将共有的纬度、共性的业务模型提炼出来，在此基础之上数据治理需要跟业务场景紧密结合。
数据中台的建设需要两个战略耐心
数据中台是为了加快从数据到业务价值的产生速度，但是它的生产过程依然是需要时间、有很多复杂的工作要做的，所以对于数据中台的投资方和数据中台的建设方来讲，都需要对应的战略耐心。
对于投资方来讲，要充分认识到数据中台类项目的价值和局限性。在现在的组织结构和技术成熟度下，数据中台依旧是一个技术平台，对于业务价值的产生是一个加速的过程。但是业务对于数据的需求不会因为有了数据中台就减少，数据中台也不是哆啦 A 梦，不能随心所欲地变出各种业务想要的服务。这依然是一个需要统筹规划、敏捷迭代、演进建设的系统性工程，所以需要要管理好期望，有一定的战略耐心。
对于建设方来讲，要充分认识到数据中台建设的复杂度，不要操之过急，不要期待毕其功于一役。史凯的建议是要从小中台做起，围绕具体有价值的业务场景去建设，尽量不脱离场景去搞周期长、大而全的纯工具平台建设。
数据中台也可以小而美
建设数据中台的关键考量包括两方面。
首先数据中台一定要与业务价值对齐。构建数据中台，最重要的不是技术，也不是数据质量好不好，而是数据思维和数据文化。数据思维就是要建立起从数据的视角去思考问题的方式；数据文化就是要把数据和业务当成一体去看，而不是只将数据当作一个支持工具。想清楚业务对于数据的诉求是构建数据中台的第一步，哪怕暂时不能想的太细，也要去想，想不清楚就先不要做。
不要在业务场景还没有明确、优先级还不清晰、价值度量体系尚未建立起来的时候，就建立大而全的数据平台，并且把所有的数据都存起来。企业都是追求投入产出比的，大而全的数据平台往往会面临尴尬的局面，一堆功能看上去很有用，应该都能用上，但是缺乏应用场景，真的有了场景，发现也不能开箱即用，还需要众多的定制化。
其次，数据中台应该从小数据、小场景做起。
数据中台是面向场景而非面向技术的，这种与客户的业务、企业的结构和信息化发展阶段有着紧密的相关性的业务基础架构，是很难买一个大而全的产品来一劳永逸解决的。
可以通过下面这个图来解释构建中台的原则：
一开始的时候需要顶层设计，面向业务愿景制定中台的整体规划，全面的梳理数据创新全景蓝图，这就是上图左边的黑色框架部分，通过业务愿景驱动出所有的业务场景探索，从而推导出数据中台的全景架构、技术支撑。
但是在实施的时候，要从具体的业务场景出发。从高价值数据集场景做起，然后顺着这个场景竖切，找到数据全景图中的一个或多个数据集合，从小数据场景落地，这样才能快速验证价值。大处思考，全局拉通，避免后续的数据孤岛，但是从小数据集切入，从可实现性高的场景启动。然后一个个的场景做起来，业务价值和中台能力也就同步建立起来了。
总的来讲就是，“设计阶段横着走，落地阶段竖着切。”
数据中台团队通常需要包含以下角色：
业务专家团队：了解业务、梳理业务场景，确定数据资产与业务场景的一一对应关系，确定业务场景的优先级，为数据中台的建设提供依据。
数据工程团队：建设和维护数据中台，包括 ETL、数据采集，以及数据中台性能和稳定性保证，利用中台的工具采集、存储、加工、处理数据。
数据分析团队：分析数据价值、探索场景，生产更多的数据服务。
数据治理团队：梳理数据标准、构件数据安全和隐私规范，利用开源去中心化的数据治理工具（比如 atlas、wherehows）来围绕业务场景解决数据质量和安全问题。
智能算法团队：为数据分析、业务探索提供智能和算法工具。
而这样的一个团队的工作就构成了一个数据生产线，一个从数据到业务服务的数据服务工厂，这个工厂有生产车间（Data Pipeline）、研发中心（数据实验室）、管理办公室（数据治理），还有产品展示中心（数据服务商店）。
数据工厂是一个逻辑概念，不是一个大而全的产品，ThoughtWorks 结合过去几年的实践给出了一个数据工厂组件选型的参考架构，这些推荐的架构和组件，很多都体现在过去 ThoughtWorks 推出的技术雷达中并进行了详细解释，如下：
前面已经提到，数据中台是企业的 Data API 工厂，用更高效、更协同的方式加快从数据到业务的价值，能够给业务提供更高的响应力。所以数据中台距离业务更近，这对于传统企业的数据业务来讲，是一个重大的变化，同时给原来的数据团队也会带来巨大的挑战。
企业传统的数据工作和业务工作分工明确、界限清晰，业务人员负责业务需求，提出业务问题，并将业务问题拆解成一个个清晰的数据问题，然后数据工程师和数据分析师在这个清晰的问题下解题。
但是，在数据中台出现后，数据中台是一个赋能平台，它会沉淀、提供很多数据分析工具和数据服务，能够让不具备专业数据能力的业务人员也可以进行一些简单的数据分析，产生业务的洞察。这就意味着在数据中台的支持下，相对简单清晰的业务问题会更多的由业务人员自己解决掉，那么传递到专业数据人员的问题，都会是更加复杂的问题。这对于数据人员的业务理解能力就加强了，他 / 她们必须具备快速理解业务的能力，才能够体现出专业性和优势。
原来的数据分析工作属于个体工作方式，每一个数据科学家、数据分析师就是一个独立的工作单元，业务部门给出业务问题，他们通过自己擅长熟悉的工具和方法给出结果。但是在数据中台出现后，他们一方面获得了更多数据分析的武器和工具，能够站在前人的基础上工作，提高了效率和准确度，另外一方面，他们也需要掌握更多的平台化的数据分析工具，比如 Jupyter Notebook，同时也被要求能够把自己分析的结果转化成数据服务，沉淀到中台。
原来的数据分析团队是一个功能型团队，更多以数据智囊团的身份存在。大部分情况下，距离业务比较远，更不要提对业务的结果负责。而在数据中台出现后，数据中台距离业务会越来越近，甚至直接影响和参与业务的运行，数据团队将慢慢脱离数据智囊团的身份，逐渐从后台走向前台，直接负责一个个数据服务，而这些数据服务是会直接参与到业务当中、产生业务价值的。这样的定位变化，要求数据团队具备更多的业务视角，要更关注业务价值，直接对齐企业的业务目标去工作。
所以，数据中台的出现，不仅是一个技术平台，它对于企业而言是一个系统化的工作，企业数据相关的流程、职责、分工都要有对应的调整，才能达成整体的目标。
对于数据中台来说，数据隐私和安全性也是非常重要的问题。可能很多人还记得前些日子马化腾针对“腾讯数据中台论”的回应。去年腾讯组织架构调整进程中实现了技术打通，而对数据打通保持谨慎态度。马化腾在 18 年 11 月的世界互联网大会上回应“数据中台论”：“腾讯不能套用很多其他公司的做法，把数据直接去任意打通。因为在我们的平台里面，大量全部都是人和人之间的通信、社交行为数据，如果说数据可以任意打通，给公司业务部门或者给外部的客户用，那是会带来灾难性的后果。这方面我们要更加谨慎，我们要从用户的角度来考虑，把个人信息和数据保护放在优先地位。”很多人将这解读为腾讯不做数据中台，史凯却不这么认为。
在他看来，腾讯的回应并不是说他们不做数据中台，而是强调要在数据隐私上做更多的工作。其实所有的数据安全和隐私的保护都需要从场景出发。史凯认为，“不能从纯数据层面来看数据隐私，数据隐私是不能脱离场景的”。如果纯粹从数据层面，而不从业务场景层面去管理数据隐私，就会带来两方面的问题，要么数据被管理的非常死，阻碍了业务价值的产生；要么数据隐私管理就会有漏洞。
史凯举了一个例子，比如我们讲的用户交易数据，如果不关联用户基本信息，交易数据本身对于用户来说是不具备隐私风险的，因为它不关联到任何一个用户个体。所以，是可以对脱敏后的用户交易数据进行分析和利用的。
另一方面，如果脱离场景谈数据隐私，也可能会导致忽略了潜在的安全问题。有时候如果不把场景关联起来，可能两个数据看上去没有安全问题，但其实外人把这两个数据关联起来就产生价值了。这也是为什么在一开始的时候就要把所有的场景，尽可能地全部分析出来。
另外，设置权限、数据分级审核、库级数据脱敏等都是可以提升数据安全的手段。现代数据中台必须具备数据调用行为的监控和记录机制，反过来也能增强对数据安全和隐私的保护。
当前国内外已经有不少公司开始投资建设数据中台，大家比较熟悉的包括阿里、华为、联想、海航、上汽、壳牌等。
在史凯看来，数据中台当前处于上升发展期。虽然未来数据中台未必还叫做数据中台，但它一定会成为企业必备的基础组件。
世界正在从信息化向数字化发展。信息化是指大部分的工作都在物理世界里完成，然后用信电脑的数字化世界解决一小部分问题。数字化则是把人从物理世界搬到数字化世界。从这个角度来讲，数据中台将会变成物理世界的业务在数字化世界的一个还原。
数据中台设计的初衷是将计算与存储分离，从狭义上来说，真正最核心的数据中台可以是没有存储的。但就当前的情况来看，广义的数据中台在未来一段时间内仍会涵盖数据仓库、数据湖等存储组件，“数据工厂”这个概念可能更适用于现在的阶段。但随着数据中台的发展，未来很有可能不再需要数据湖了。
最后，史凯也提到了阿里中台战略中的另一个中台——“业务中台”。他表示“当前业务中台更偏实时交易，是从上往下沉淀业务；数据中台目前更偏分析、决策和洞察，为业务提供 T+N 和 T+0 的数据服务，但是再往前走，数据中台跟交易会慢慢结合得更为紧密。随着计算能力越来越强，以及微服务架构的进一步发展，未来业务中台和数据中台可能会融为一体。”
史凯，ThoughtWorks 数据和智能总监，精益数据创新体系的提出者，2019 年被评选为 DataIQ100 的数据赋能者，有近 20 年年的企业信息化、数字化转型架构和实施经验，为众多大型客户提供数字化转型战略略规划和咨询实施服务。
技术雷达是 ThoughtWorks 推出的公益的、不限行业的技术选型趋势报告，至今已坚持十年，旨在以雷达的表现形式，通过清晰的解读，给技术人员提供高质量、落地性强的技术平台、工具框架方面的选型指导，助力企业数字化转型。
今日荐文
点击下方图片即可阅读
面试系列 | 大厂数据开发面试经验
互联网10年，激战如梦
往期推荐
欢迎加入中台|数仓技术交流群。戳：快来加入数据交流群！
在看
备注：数仓
更多精彩，请戳"阅读原文"到"数仓之路"查看
！关注不迷路~ 各种干货、资源定期分享！
学习小密圈
你也「在看」吗？👇